Karl Mildenbergers wohl bedeutendster Kampf fand am 10. September 1966 in dem Frankfurter Waldstadion statt. An diesem Tag lieferte der Pfälzer Europameister vor 35 Tausend Zuschauern keinem kleineren als Schwergewichts-Weltmeister Muhammad Ali bis in die zwölfte Runde einen großartigen Kampf und machte dem Weltmeister schwer zu schaffen. Er setzte Ali vor allem in der sechsten und siebten Runde mit seiner gefürchteten Linken unter Druck. Doch die überragende Klasse von Muhammad Ali gab am Ende den Ausschlag und so nahm der Ringrichter Mildenberger in der zwölften Runden nach schweren Kopftreffern aus dem Kampf. "Es war mein schwerster Kampf seit dem Titelgewinn gegen Sonny Liston", sagte Ali nach seiner sechsten erfolgreichen Titelverteidigung und kündigte an nie wieder gegen diesen Gegner zu boxen.

Sechsmal verteidigte Mildenberger sein Europameistertitel erfolgreich. Am 14. Mai 1965 in Frankfurt gegen Piero Tomasoni nach 15 Runden, am 26. November 1965 in Frankfurt gegen Gerhard Zech nach 15 Runden, am 15. Juni 1966 in Frankfurt gegen Yvan Preburg nach 15 Runden, am 1. Februar 1967 in Frankfurt gegen Piero Tomasoni nach 15 Runden, am 21. Mai 1967 in London gegen Billy Walker durch K.O. in der 8. Runde und 31. Dezember 1967 in Berlin gegen Gerhard Zech nach 15 Runden.

Als Muhammad Ali 1967 der Titel aberkannt wurde, war Mildenberger erneut Weltranglistenerster. In einem WM-Ausscheidungskampf kassierte er jedoch gegen den Argentinier Oscar Bonavena am 16. September 1967 in Frankfurt eine schwere Niederlage nach 12 Runden und ging dabei viermal zu Boden. In dem September 1968 verlor Mildenberger durch Disqualifikation in der 8. Runde gegen den englischen "British Empire Heavyweight Champion" Henry Cooper und trat schließlich in dem darauffolgenden Jahr vom Boxsport zurück.

Private Probleme brachten Karl Mildenberger danach in das Straucheln. Nach der Heirat mit seiner zweiten Frau fing sich der Sympathieträger wieder und erhielt eine Anstellung beim Sport- und Bäderamt in Kaiserslautern, wo er bis zur in das Rentenalters als Bademeister arbeitete.

Bei großen Box-Veranstaltungen in Deutschland, beispielsweise bei den WM-Kämpfen von Axel Schulz, war und ist er stets wieder zu sehen. Trotz seiner schlohweißer Haare sieht der Vater zweier Söhne blendend aus, erfreut sich bester Gesundheit und geht weiter regelmäßig in das Gym, wo er sich am Sandsack und mit dem Springseil fit hält. Sein Kampfgewicht von 90 Kilogramm hat er nach wie vor. "Ich tue eben was dafür", sagt Mildenberger.

Bei der Deutschland-Premiere des Kinofilms "Ali" in Riesa war der Kontrahent von 1966 ebenfalls zu Gast und traf dort Ali nach vielen Jahren wieder.